#diffusion language models

6 篇

What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

什么造就好的去掩码策略？扩散语言模型学习式去掩码的受控研究

🧭 扩散语言模型高效解码策略

NTU Singapore · Institute for Advanced Intelligence and Computing (IAIC), A*STAR · Centre for Frontier AI Research (CFAR), A*STAR

系统解耦学习式去掩码策略，提出轨迹收缩目标，856K参数策略在LLaDA-8B上取得最优精度-效率前沿

📌 工作参考价值（4 点）

若在搜索补全、推荐理由生成、query 改写等场景尝试 diffusion LM 或并行解码，可用「轨迹收缩目标」替代“与最终输出一致”作监督：只监督不会导致后续偏离参考轨迹的 commit，避免低 NFE 下过度激进解码。
策略输入不要只用 hidden states 或只用 confidence；二者结合的小型策略（856K 参数）即可达到最优前沿，且约 10% NFE 下降就能抵消 policy 开销，适合实时推荐/搜索的低延迟约束。
把解码过程视为 teacher，蒸馏出轻量 unmasking policy，能显著提升吞吐；在自回归 LLM 为主的生产环境中，若未来引入 diffusion LM 生成结构化输出，可复用这套精度-NFE frontier 和 throughput 评估方式选型。
该策略在 LLaDA-8B 上训练后基本迁移到 Dream-7B-Instruct，说明轻量 policy 有一定跨模型泛化性，可作为多模型共用的推理加速组件。

LLM | 2026-10-21 | HF Daily | score 6/10

Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models

Pivot-SD：掩码扩散语言模型的高效自蒸馏

🧭 掩码扩散 LM 后训练 · 自蒸馏

KAIST AI · University of Toronto · Vector Institute

用信息增益筛选高影响力掩码 token 进行自蒸馏，提升扩散语言模型推理性能

📌 工作参考价值（4 点）

在生成式推荐或 Agent 训练中，可用信息增益等指标识别对最终结果影响最大的中间决策 token（如商品属性、工具调用参数），只对关键 token 做监督，降低训练噪声和计算开销。
对失败轨迹不要整条丢弃，定位导致失败的 pivot token 使用 targeted unlikelihood，其余 token 保持原样，可以保留有效探索、避免过度惩罚。
自蒸馏/离线 RL 中只需少量 query（200 个）和 rollout（每个 4 次）即可达到超过全序列 SFT 和预算匹配 RL 的效果，适合标注和算力受限的业务场景。
掩码扩散模型在生成式推荐（如 Semantic ID 生成）中逐步填充 token，可将每一步的 uncertainty reduction 作为信号，动态决定训练重点或推理早停条件。

Training | 2026-10-02 | cs.LG | score 7/10

diffusion language models self-distillation credit assignment reasoning post-training

Hierarchical Continuous Diffusion Language Models

层次连续扩散语言模型

🧭 连续扩散语言模型 · 离散连续耦合去噪

University of Illinois Urbana-Champaign · Amazon.com, Inc.

HC-DLM 将离散 token 生成与连续潜变量去噪耦合，在 Sudoku/Countdown/LM1B 上超过匹配规模扩散基线

📌 工作参考价值（4 点）

面向需要全局约束或双向推理的文本生成任务（如广告文案、商品标题、搜索 query 改写、推荐理由），可考虑扩散式生成替代自回归，便于多步修改并满足关键词、违禁词、风格等多约束。
可借鉴 HC-DLM 的“离散 token 读出并反馈为脚手架”机制：在生成式推荐中使用连续向量表示全局用户意图/会话状态，每步读出候选 item 或 Semantic ID 后反馈调整潜变量，保持序列内依赖，避免并行解码时 token 独立采样的问题。
训练目标基于 token 似然的变分下界，把离散生成目标与连续去噪过程对齐，比将连续上下文简单附加到离散链更稳定；实现时可在每步去噪后做 token readout 作为下一步条件，降低训练与推理不一致。
注意扩散模型多步去噪带来的推理延迟，适合离线批量生成或对延迟不敏感的约束复杂规划场景（如选品组合、活动文案库生成），不适合超低延迟在线实时推荐。

LLM | 2026-09-30 | HF Daily | score 7/10

diffusion language models continuous diffusion discrete diffusion variational inference structured reasoning language modeling

Scaling and Distilling Text Embeddings for Better Diffusibility

扩展与蒸馏文本嵌入以提升扩散语言模型适用性

🧭 扩散语言模型 · 文本嵌入蒸馏

University of Michigan

通过扩展嵌入模型并用解码概率软标签蒸馏，使连续扩散语言模型生成有效文本，Gen PPL 17.8 优于 GPT-2-M

📌 工作参考价值（4 点）

在生成式推荐或 Semantic ID 场景中，若用扩散模型生成 item/query 嵌入，不要直接使用过度判别的预训练编码器；可借鉴“教师解码概率作为软标签”的蒸馏方式，使相近候选嵌入更聚拢，提升解码有效性和生成质量。
对 query 推荐/改写、push 文案生成等文本生成任务，可在训练连续扩散 LM 时加入 embedding 蒸馏阶段，让潜在空间更连通，减少无效输出（如解码到不存在的 token 或语义 ID）。
评估生成式模型时，除 PPL 外可引入“生成熵 vs. Gen. PPL”曲线，判断模型能否在真实文本熵水平下保持低困惑度，作为业务中生成质量的上线 benchmark。
这种先缩放再蒸馏的思路也可迁移到多模态或商品图文表示：用更大 teacher 的 soft targets 蒸馏轻量 embedding，提升下游扩散/生成模型的稳定性。

LLM | 2026-09-30 | HF Daily | score 7/10

diffusion language models text embeddings distillation latent diffusion generative perplexity

Parallelism, critical windows, and separations among diffusion language models

扩散语言模型的并行性、关键窗口与范式分离

🧭 扩散语言模型并行采样理论

Harvard University · Tsinghua University

首次证明均匀/高斯扩散的并行采样步数可随分布内在复杂度缩放，且掩码扩散因关键窗口更窄需更多前向次数

📌 工作参考价值（3 点）

在电商/搜索场景用扩散 LM 生成商品文案、Query 补全或推荐语时，优先评估均匀/高斯扩散：其采样前向步数可随分布的 dual total correlation 缩放，对属性条件独立、结构化程度高的商品或 Query 分布，可能远低于序列长度，适合低延迟并行生成。
若生成式推荐使用 Semantic ID + masked diffusion，注意掩码扩散在近似 score 下存在 Ω(d) 并行下界；对长 token 序列且延迟敏感的服务，可尝试用均匀或高斯扰动替代离散“吸收态”，拓宽关键窗口以提升并行度。
工程调优可从“关键窗口宽度”切入：若观察到掩码扩散后期 token 状态突变、需大量去噪步，可借鉴均匀/高斯扩散的连续松弛或噪声调度，避免在窄窗口内做硬离散决策，减少串行步骤。

LLM | 2026-09-17 | stat.ML | score 6/10

diffusion language models parallelism masked diffusion uniform diffusion Gaussian diffusion critical windows

LESS Is More: Mutual-Stability Sampling for Diffusion Language Models

LESS 即更多：扩散语言模型的互稳定采样

🧭 扩散语言模型推理加速

MBZUAI · Ecole Polytechnique

提出训练无关的自适应采样器 LESS，通过联合稳定性规则在线决定 token 揭示时机，以 72.1% 更少步骤保持精度。

📌 工作参考价值（4 点）

若业务中尝试将扩散模型用于生成式推荐（如 Semantic ID 生成），LESS 可嵌入推理流程，自适应提前终止不稳定的 token，直接减少 Transformer 前向次数并降低延迟。
其 top-K JS 散度稳定性判据与 top-1 置信度/持久性规则可以独立迁移到其他 token 级早停（early exiting）场景，比如在序列生成中按位置动态分配计算量。
该采样器无需训练、模型无关，可作为即插即用模块快速集成到现有扩散 LLM 部署中，无需重新训练或修改模型权重。
本文主要学术贡献在于扩散 LM 的高效采样，若业务尚未使用扩散模型，直接可借鉴点有限；但在 Agent 系统里若用扩散模型做规划或工具调用生成，LESS 可加速推理。

LLM | 2026-06-15 | cs.CL | score 7/10

diffusion language models adaptive sampling inference efficiency training-free LLM